DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards
DelTA：通过判别性Token信用分配提升可验证奖励的强化学习
🧭 强化学习训练优化 · Token级信用分配 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · Ant International
将RLVR更新视为隐式线性判别器，通过重加权token梯度向量增强正负侧质心的区分度，提升数学推理等任务表现。
📌 工作参考价值（4 点）
- 将策略梯度更新解构为隐式判别器的方法可用于诊断线上RL模型训练中的token偏向问题，尤其适合电商推荐中奖励信号稀疏的长序列生成（如自动文案、对话）场景。
- 通过对比正负优势响应的token梯度质心并重加权token贡献，可以兼容大部分序列级RL目标（如GRPO、DAPO），工程实现可插入现有RLHF训练流程。
- 系数计算采用最后一层隐藏状态或输出行梯度代理，无需全参梯度，开销可控，适合大规模LLM训练的在线重加权。
- 在电商Agent的推理规划中，可借鉴基于判别性信号重新分配token信用，提升模型在长推理链上的一致性和正确率。